为了防止青年自杀，社交媒体平台受到了研究人员的广泛关注。一些研究应用机器学习或基于深度学习的文本分类方法来对包含自杀风险的社交媒体帖子进行分类。本文复制了基于社交媒体的自杀性检测/预测模型。我们评估了使用多个数据集和不同最先进的深度学习模型（RNN-，CNN-和基于注意力的模型）检测自杀构想的可行性。使用两个自杀性评估数据集，我们通过定量和定性方式评估了28种输入嵌入的组合和4种常用的深度学习模型和5种预处理的语言模型。我们的复制研究证实，深度学习总体上可以很好地适用于基于社交媒体的自杀性检测，但这在很大程度上取决于数据集的质量。

The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

深层神经网络如今成功地拟合了非常复杂的功能，但是对于推理而言，密集的模型开始非常昂贵。为了减轻这种情况，一个有希望的方向是激活网络稀疏子图的网络。该子图是由数据依赖性路由函数选择的，将输入的固定映射到子网（例如，专家（MOE）在开关变压器中的混合物）。但是，先前的工作在很大程度上是经验的，尽管现有的路由功能在实践中效果很好，但它们并没有导致近似能力的理论保证。我们旨在为稀疏网络的力量提供理论解释。作为我们的第一个贡献，我们提出了一个与数据相关的稀疏网络的形式模型，该网络捕获了流行体系结构的显着方面。然后，我们基于局部性敏感哈希（LSH）引入一个路由函数，使我们能够对稀疏网络近似目标函数的方式进行推论。在用我们的模型代表基于LSH的稀疏网络之后，我们证明稀疏网络可以匹配Lipschitz函数上密集网络的近似能力。在输入向量上应用LSH意味着专家在输入空间的不同子区域中插值目标函数。为了支持我们的理论，我们根据Lipschitz的目标功能定义了各种数据集，并且我们表明，稀疏网络在活动数量数量和近似质量之间具有良好的权衡。

在本文中，我们提出了一个动态的级联编码器自动语音识别（ASR）模型，该模型统一了不同部署方案的模型。此外，该模型可以显着降低模型尺寸和功耗而不会损失质量。也就是说，使用动态级联编码器模型，我们探索了三种技术，以最大程度地提高每个模型大小的性能：1）在共享编码器时为每个子模型使用单独的解码器；2）使用漏斗 - 提高编码器效率；3）平衡因果关系的大小，以提高质量和适合部署限制。总体而言，与基线级联编码器模型相比，拟议的大中等模型的尺寸较小30％，并将功耗降低了33％。统一大型，中和小型模型的三重大小模型可实现37％的总尺寸减少，而质量损失最小，同时大大减少了拥有单独模型的工程工作。

当与输入的高维投影结合使用时，多层感知器（MLP）已被证明是有效的场景编码器，通常称为\ textit {位置{位置编码}。但是，频谱频谱的场景仍然是一个挑战：选择高频进行位置编码会引入低结构区域中的噪声，而低频率则导致详细区域的拟合不佳。为了解决这个问题，我们提出了一个渐进的位置编码，将分层MLP结构暴露于频率编码的增量集。我们的模型可以准确地使用广泛的频带重建场景，并以细节的渐进级别学习场景表示形式\ textit {没有明确的每级监督}。该体系结构是模块化的：每个级别都编码一个连续的隐式表示，可以分别利用其各自的分辨率，这意味着一个较小的网络来进行更粗糙的重建。与基线相比，几个2D和3D数据集的实验显示了重建精度，代表性能力和训练速度的提高。

有效的人类学习取决于广泛的教育材料，与学习者目前对该主题保持一致。虽然互联网彻底改变了人类的学习或教育，但仍存在大量资源可访问性障碍。即，过剩的在线信息可以使其充满努力导航和发现高质量的学习材料。在本文中，我们提出了教育资源发现（ERD）管道，用于为新颖域自动化Web资源发现。管道由三个主要步骤组成：数据收集，功能提取和资源分类。我们从一个已知的源域开始，通过传输学习在两个看不见的目标域上进行资源发现。我们首先从一组种子文档中收集频繁查询并在网上搜索以获取候选资源，例如讲座幻灯片和介绍博客帖子。然后我们介绍一个小说预用信息检索深神经网络模型，查询文件屏蔽语言建模（QD-MLM），以提取这些候选​​资源的深度特征。我们应用基于树的分类器来决定候选人是否是一个积极的学习资源。当在两个类似但新的靶域评估时，管道在评估时实现0.94和0.82的F1分数。最后，我们展示了该管道如何使应用程序有益于应用：调查的领先段落生成。这是据我们所知，这是考虑各种网络资源的研究。我们还释放了39,728个手动标记的Web资源的语料库，以及来自NLP，计算机视觉（CV）和统计信息（统计数据）的659个查询。

我们提出了一种模块化架构，用于终身学习的分层结构化任务。具体而言，我们证明我们的架构是理论上能够学习通过可被学习的函数来解决的任务，这些任务可以给予用于其他，先前学习的任务作为子例程的函数。我们经验证明，我们可以通过标准培训方法在实践中学习的一些任务;实际上，事先工作表明，在没有更简单的任务的帮助下，无法通过任何有效的方法学习一些这样的任务。我们还考虑自动识别任务的方法，而无需依赖明确给出指标。

搜索是数字平台和应用程序中的关键功能之一，如电子词典，搜索引擎和电子商务平台。虽然某些语言的搜索功能是微不足道的，但是，考虑到其复杂的写作系统，Khmer Word搜索是具有挑战性的。单词的多个字符和不同的拼写实现对Khmer Word搜索功能的约束施加了约束。此外，拼写错误很常见，因为强大的拼写检查器在输入设备平台上不可能可用。这些挑战阻碍了在搜索嵌入式应用中使用了高棉语言。此外，由于缺乏用于高棉语言的Wordnet的词汇数据库，因此无法在单词之间建立语义关系，从而实现语义搜索。在本文中，我们向上述与高棉Word搜索相关的挑战提出了一系列强大的解决方案。所提出的解决方案包括字符阶级标准化，图形和基于音素的拼写检查器和Khmer Word语义模型。语义模型基于嵌入模型的单词培训，该模型在30亿字的语料库上培训，用于捕获单词之间的语义相似之处。

文本分类是标记开放式文本的自然语言处理中的基本任务之一，对各种应用有用，如情绪分析。在本文中，我们讨论了Khmer文本的各种分类方法，从传统的TF-IDF算法到支持向量机分类器到基于现代字的基于词嵌入的神经网络分类器，包括线性层模型，经常性神经网络和卷积神经网络。 Khmer Word嵌入式模型培训在3000万Khmer-Word语料库上，以构建用于培训三种不同神经网络分类器的字矢量表示。我们为多类和多标签文本分类任务评估了对新闻文章数据集的不同方法的性能。结果表明，使用Word嵌入模型的神经网络分类器始终如一地始终使用TF-IDF来表达传统分类器。与卷积网络和线性层网络相比，经常性神经网络分类器提供稍好的结果。

诸如人工智能（AI）之类的快速发展领域经常超过维基百科等百科全书来源的努力，这些来源如不完全介绍最近引入的主题或完全缺乏这种内容。因此，自动产生内容的方法是解决此信息过载的有价值的工具。我们表明，最近的预训练语言建模的进展可以组合为维基百科铅段生成的两级提取和抽象方法。我们扩展了这种方法，以产生更长的维基百科风格的摘要，并通过详细研究100参考人体收集的调查，研究这种方法在本申请中争取如何奋斗。这是利用Web资源利用WEAL Wikipedia风格摘要的第一次研究。